广泛的应用需要学习图像生成模型，其潜在空间有效地捕获数据分布中存在的变化的高级别因数。模型代表通过其潜在空间的这种变化的程度可以通过其在平滑图像之间插值的能力来判断。然而，在所生成的图像之前映射固定的大多数生成模型导致插值轨迹缺乏平滑度并且包含降低质量的图像。在这项工作中，我们提出了一种新的生成模型，该模型在插值轨迹之前学习灵活的非参数，调节在一对源图像和目标图像上。而不是依赖确定性的插值方法（例如潜伏空间中的线性或球形插值），我们设计了一种使用潜在二阶神经常规差分方程的两个给定图像之间的轨迹分布的框架。通过重建和对抗性损失的混合组合，发电机训练以从这些轨迹将采样点映射到现实图像的序列，该轨迹的序列是从源进入目标图像的平稳转换。通过综合定性和定量实验，我们展示了我们的方法在生成改进质量的图像方面的有效性以及对任何对任何对实际来源和目标图像的平滑插值轨迹学习多元化分布的能力。
translated by 谷歌翻译
光谱分析是一种强大的工具，将任何功能分解成更简单的部件。在机器学习中，Mercer的定理概括了这个想法，为任何内核和输入分布提供了增加频率的自然基础。最近，几种作品通过神经切线内核的框架将此分析扩展到深度神经网络。在这项工作中，我们分析了深度神经网络的层面频谱偏压，并将其与不同层的贡献相关联在给定的目标函数的泛化误差减少中的贡献。我们利用Hermite多项式和球面谐波的性质来证明初始层朝着单位球体上定义的高频函数呈现较大偏差。我们进一步提供了验证我们在深神经网络的高维数据集中的理论的实证结果。
translated by 谷歌翻译
在分布式和联合学习中实现全球融合的主要障碍是由于分布式数据的异质性和随机性的客户端跨越梯度的未对准。在这项工作中，我们表明，实际上可以利用数据异质性来通过隐式正规化提高泛化性能。缓解异质性影响的一种方法是在整个训练中鼓励在不同客户端中的渐变对齐。我们的分析表明，通过利用复制SGD的隐式正则化效果的正确优化方法可以实现这一目标，从而导致梯度对准以及测试精度的改进。由于SGD中该正则化的存在完全依赖于在训练期间的不同迷你批次的顺序使用，因此在用大型批次进行训练时固有地没有。为了在增加并行性的同时获得该正则化的泛化效益，我们提出了一种新的渐变算法，其诱导相同的隐式正则化，同时允许在每个更新中使用任意大的批次。我们通过在不同分布式和联合学习设置中实验验证我们算法的优势。
translated by 谷歌翻译
CS中的主要出版物场所进行的同行评审会议务必依赖每篇论文的高素质审阅者。由于这些会议的规模越来越大，它们的工作时间表以及最近明显不诚实的行为激增，现在没有其他选择以自动化的方式进行这种匹配。本文研究了一种新颖的审阅者纸匹配方法，该方法最近在第35届AAAI人工智能会议（AAAI 2021）中部署，此后已被包括ICML 2022，AAAAI 2022和IJCAI 2022的其他会议（全部或部分）采用（完全或部分） 。该方法具有三个主要元素：（1）收集和处理输入数据以识别有问题的匹配并生成审阅者纸得分； （2）制定和解决优化问题，以找到良好的审阅者纸匹配； （3）两阶段的审查过程，将审查资源从可能被拒绝的论文转移到更接近决策界的文件。本文还根据对真实数据的大量事后分析进行了对这些创新的评估，包括与AAAI先前（2020年）迭代中使用的匹配算法进行比较 - 并通过其他数值实验对此进行了补充。
translated by 谷歌翻译